我们提出了一种培训具有二进制权重的深神经网络(DNN)的新算法。特别是,我们首先将培训二元神经网络(Binns)作为彼得纤维优化实例的问题施放,随后构建这种携手节目的灵活放松。由此产生的训练方法与若干培训箱的几种现有方法共享其算法简单性,特别是在BinaryConnect中成功使用的直通梯度估计器和随后的方法。实际上,我们所提出的方法可以被解释为原始直通估计器的自适应变型,其有条件地(但不总是)起作用在误差传播的后向通过中的线性映射。实验结果表明,与现有方法相比,我们的新算法提供了有利的性能。
translated by 谷歌翻译